教育大数据分析平台（三）
1.1导出数据
(1)创建MySQL业务表
在数据库nev中创建表visit_dws用于存储Hive数据仓库中访问用户量宽表visit_dws导出的数据，具体命令如下。
DROP TABLE IF EXISTS nev.visit_dws;
CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据SessionID去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(255) COMMENT '来源页面',
groupType VARCHAR(32) COMMENT '1.地区维度；1.来源渠道维度；3.会话页面维度；4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);
(2)在数据库nev中创建表consult_dws用于存储Hive数据仓库中咨询用户量宽表consult_dws导出的数据，具体命令如下。
DROP TABLE IF EXISTS nev.consult_dws;
CREATE TABLE nev.consult_dws(
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionID去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);
(3)查看数据库nev中是否成功创建表visit_dws和consult_dws，具体命令如下。
/*切换到数据库nev*/
use nev;
/*查看数据库nev中包含的表*/
show tables;
(5)在虚拟机hadoop1执行Sqoop命令将Hive数据仓库中访问用户量宽表visit_dws导出到关系型数据库MySQL中nev数据库的表visit_dws，具体命令如下所示。
bin/sqoop export \
--connect "jdbc:mysql://191.168.249.161:3306/nev?useUnicode=true&characterEncoding=utf-8" \
--username hive \
--password hive \
--table visit_dws \
--hcatalog-database hnsoft_dws \
--hcatalog-table visit_dws
在MySQL命令行交互界面执行“exit”命令登出MySQL，在虚拟机Node02执行Sqoop命令将Hive数据仓库中咨询用户量宽表consult_dws导出到关系型数据库MySQL中nev数据库的consult_dws，具体命令如下所示。
bin/sqoop export \
--connect "jdbc:mysql://191.168.249.161:3306/nev?useUnicode=true&characterEncoding=utf-8" \
--username hive \
--password hive \
--table consult_dws \
--hcatalog-database hnsoft_dws \
--hcatalog-table consult_dws
1.2 克隆虚拟机
1.Linux虚拟机克隆操作步骤如下：
（1）如图1-1所示，在VMware中右键点击hadoop1节点，然后选择hadoop3——>管理——>克隆，进入克隆虚拟机向导，点击“下一页”。

图1-1 克隆虚拟机向导
（2）弹出如果1-2所示的克隆源页面，选择“虚拟机中的当前状态”然后点击“下一步”。

图1-2 选择克隆源
（3）弹出如图1-3所示的克隆类型界面，选择“创建见完整克隆”选项，然后点击“下一步”。

图1-3 选择克隆类型
（4）弹出如图1-4所示的界面，我们可以输入虚拟机的名称以及存储位置，然后点击“完成”按钮。

图1-4 输入新虚拟机的名称
（5）弹出如图1-5的克隆进度界面，耐心等待虚拟机克隆进度条完成。

图1-5克隆虚拟机
（6）如图1-6所示，点击“关闭”按钮，完成虚拟机的克隆。

图1-6 完成虚拟机克隆
（7）如图1-7所示，使用与hadoop3相同的账号密码登录dataease，具体操作如图3-7所示（用户名：root  密码：123456）。

图10-20 启动登录
1. 网络及工具配置
（1）配置静态IP
配置静态IP步骤如下：
1）如图1-8所示，在命令行输入：vi/etc/sysconfig/network-scripts/ifcfg-ens33命令。

图1-8 配置静态ip（1）
2）如图1-9所示，修改ip地址为191.168.2410.164（可根据实际情况配置）。

图1-9 配置静态ip（2）
3）如图1-10所示，使用systemctl restart NetworkManager
重启网络服务。
（2） Xshell连接
Xshell连接步骤如下：
1）如图1-11所示，静态IP地址配置成功之后，可以通过xshell连接克隆之后的虚拟机，在xshell中新建会话，配置好需要连接的虚拟机。


图1-11 配置连接
2）如图1-12所示，然后配置用户身份验证，输入用户名和密码。

图1-12配置用户身份验证
3）连接配置好的虚拟机，出现图1-13表示连接成功。

图1-13通过xshell连接
（3） 修改主机名
修改主机名步骤如下：
1）由于是克隆的，主机还是hadoop3，我们需要修改为dataease，使用命令vi /etc/hostname修改主机名，具体操作如图10-26所示。

图1-14 修改主机名

（4） FileZilla连接
在FileZilla中新建站点，进行配置，具体操作如图1-15所示。

图1-15 FileZilla连接虚拟机
1.3安装启动与配置DataEase
1.下载DataEase
打开dataease的官方网站，https://www.fit2cloud.com/dataease/index.html，来到如图1-16所示界面。

图1-16 DataEase官方网站
点击免费下载，来到如图1-17所示界面：

图1-17 社区版下载页面
如图1-18所示，左侧导航栏点击其他版本，选择v1.18.19版本。

图1-18 选择v1.18.19版本
如图1-19所示，点击下载此版本按钮。

图1-19 点击下载此版本按钮
来到如图1-20所示界面


图1-20 DataEase下载页面
点击下载，如果未登录或者注册账号，会弹出如图1-21登录页面，请注册账号登录。


图1-21 注册并登录
如图1-22所示界面，点击下载按钮下载，弹出新建下载任务对话框，选择下载位置为桌面，点击下载开始下载。
图1-22 开始下载
1.使用filezilla上传DataEase安装包
  如图1-23所示，使用filezilla从桌面上传到Linux中。

图1-23 上传DataEase安装包

3.安装DataEase
 （1）解压安装包
   如图1-24所示，使用如下命令解压安装包
[root@localhost ~]# tar -zxvf dataease-v1.18.19-offline.tar.gz


图1-24 解压安装包
（2）安装DataEase
如图1-25所示，使用如下命令，进入到安装文件夹，并开始安装。
[root@localhost ~]# cd dataease-v1.18.19-offline
[root@localhost dataease-v1.18.19-offline]# bash install.sh


图1-25 安装DataEase
4.登录
在浏览器中输入http://191.168.2410.164:80进入如图1-26所示登录界面

图1-26 dataease登录界面

输入默认账号：admin，密码dataease，点击登录，首次登录会弹出如图1-27所示修改密码对话框，请按要求修改密码，点击确定

图1-27 修改密码
修改后，弹出如图1-28所示界面，用新的密码重新登录。

图 1-28使用新密码重新登录
如图1-29所示进入 DataEase 主界面后可以看到界面上方导航栏，有首页、仪表板、数据集、数据源、模板市场、应用、系统管理七大模块。

图1-29 dataease主界面
1.4 dataease数据可视化分析步骤如下：
  1. 创建数据源
（1）弹出图1-30所示界面，选择数据源，点击“+”，录入数据源相关信息，选择mysql数据库点击“保存”。


图1-30 添加数据源
创建数据集
如图10-43所示，选择数据集，点击“新建文件夹”，创建一个nev的文件夹。


图1-30创建文件夹
（2）使用如下语句创建统计地区访问用户量的前6条的数据集，具体操作如图1-31所示。
SELECT
sid_total,sessionid_total,ip_total,area,yearinfo,monthinfo
FROM visit_dws
WHERE grouptype='1'
LIMIT 6;



图1-31 创建统计地区访问用户量的数据集
（3）使用如下语句创建统计会话页面排行榜的数据集，具体操作如图1-32所示。
SELECT distinct
sessionid_total,from_url,yearinfo,monthinfo
FROM visit_dws
WHERE grouptype='3' AND from_url!=""
ORDER BY sessionid_total DESC


图1-32创建统计会话页面排行榜的数据集
（4）创建统计访问用户量的数据集，具体操作如图1-33所示。
SELECT distinct
sid_total,sessionid_total,ip_total,yearinfo,monthinfo
FROM visit_dws
WHERE grouptype='4';


图1-33创建统计访问用户量的数据集的数据集
（5）使用如下语句统计创建渠道访问用户量的数据集，具体操作如图1-34所示。
SELECT distinct
sid_total,sessionid_total,ip_total,origin_channel,yearinfo,monthinfo
FROM visit_dws WHERE grouptype='2';


图1-34创建统计创建渠道访问用户量的数据集
选择仪表板，点击+，创建一个文件夹，名字为nev，然后在文件中创建一个名为教育大数据分析的仪表板，具体操作如图1-35所示。






图1-35 创建仪表板
4添加不同视图
添加指标卡
 添加访问用户量指标卡，点击视图按钮，添加一个访问用户量的视图，数据集为用户访问量，具体操作如图1-36所示。

图1-36 添加访问用户量视图
如图1-37所示，点击下一步按钮，选择指标卡，确定。

图1-37 选择图表类型
将sid_total拓展到指标栏，得到如图1-38所示。



图1-38设置指标栏
更改显示名称为sid统计访问用户量，效果如图10-52所示。
图1-38 更改显示名称
在样式中隐藏标题，效果如图1-39所示。




图1-39 隐藏标题
最后得到指标卡，效果如图1-40所示。

图1-40 指标卡效果图
采用复制并修改相应属性的方式，得到session_id访问用户量，ip访问用户量指标卡，效果如图1-41所示。

图1-41 指标卡效果图
（2）添加地区访问用户量视图，数据集合选择为地区访问用户量，图标类型为明星表。效果如图1-42所示：

图1-42 添加地区访问用户量视图
将area、sid_total、sessionid_total、ip_total拖拽到数据列。修改字段显示名称分别为地区、按照sid统计量、sessionid统计量、ip_total统计量，最后调整视图的大小和位置，得到如图1-43所示效果图。

图1-43 地区访问用户量视图效果图
（3）添加会话页面排行榜视图，数据集合选择为会话页面排行榜，图标类型为基础柱状图，from_url、sessionid拖拽到指标，结果展示前6条。效果如图1-44所示。

图1-44 会话页面排行榜视图
（4）添加渠道访问用户统计视图，数据集合选择为渠道访问用户量，图标类型为基础柱状图，origin_channel、ip_total拖拽到指标，结果展示前6条，显示图例和标签的维度。效果如图1-45所示。
图1-45 渠道访问用户统计视图
（5）从其他中拖拽一个文字组件作为标题，标题内容为教育大数据分析平台，效果如图1-46所示。

图1-46 添加标题
（6）点击仪表板样式，选择仪表板主题为：智慧数据。得到效果图如图1-47所示：

图1-47 教育大数据分析平台大屏效果图






II